Least Squares | Machine Learning | Pusan National University

잔차 eᵢyᵢ − ŷᵢ이며 양수면 과소 예측, 음수면 과대 예측이다.

제곱 손실eᵢ²이며 부호를 없애고 큰 오차를 더 무겁게 센다.

RSS(β₀, β₁)Σ(yᵢ − β₀ − β₁xᵢ)²이며 계수마다 값이 하나 정해진다.

계수를 바꾸면 모든 잔차와 RSS가 함께 바뀐다

후보 계수 β₀, β₁을 바꾸면 직선, 관측별 잔차, RSS 지도 위의 현재 위치가 함께 움직인다.

절편 β₀ 2.5

계수 β₁ 0.5

왼쪽: 점은 관측, 파란 직선은 후보 직선이다. 초록 실선은 양의 잔차(과소 예측), 빨간 점선은 음의 잔차(과대 예측)다. 오른쪽: 가로축 β₀, 세로축 β₁이며 칸이 짙을수록 RSS가 작다. 초록 점이 현재 후보, 빨간 십자가 RSS 최소 계수다.

잔차 e를 바꾸면 손실 e²이 곡선을 따라 바뀌고, 잔차가 2배일 때 벌점은 4배가 된다.

잔차 e 2

파란 곡선은 e², 회색 점선은 절댓값 |e|다. 초록 점이 현재 잔차의 제곱 손실이다.